Năm 1883, vua Tự Đức băng hà. Vua không có con do mắc di chứng của bệnh đậu mùa, nên trước đó có nhận nuôi 3 người con, là con của hai hoàng đệ là Thụy Thái vương Hồng Y và Kiên Thái vương Hồng Cai, đó là Dục Đức (con ông Hồng Y), Đồng Khánh, Hàm Nghi và Kiến Phúc (con ông Hồng Cai). Như vậy, các vua Kiến Phúc, Hàm Nghi và Đồng Khánh là những người cháu nội của bà Vĩnh.

Hai đại thần Tôn Thất Thuyết và Nguyễn Văn Tường lộng quyền phế lập liên tiếp 2 vị vua là Dục Đức và Hiệp Hoà (con trai út của vua Thiệu Trị, cũng là em vua Tự Đức), sau đó đưa Kiến Phúc lên nối ngôi. Vua Kiến Phúc mất sớm, đáng lẽ ngôi vị phải trao lại cho người anh là hoàng tử Ưng Kỷ (tức vua Đồng Khánh sau này), nhưng sợ lập người lớn tuổi làm vua thì hai ông Thuyết và Tường sẽ bị mất quyền hành nên hai ông đã chọn một người con trai khác của Kiên Thái vương để đưa lên làm vua, tức vua Hàm Nghi (em của Đồng Khánh và Kiến Phúc). Sau khi Hàm Nghi bỏ chạy ra Quảng Trị, triều đình Huế mới đưa Đồng Khánh lên ngôi. Vua Khải Định là con của vua Đồng Khánh.

Mặc dù là tổ mẫu của cả ba vị hoàng đế, nhưng do chỉ là thứ thiếp của vua Thiệu Trị, cộng thêm việc bà Từ Dụ (chánh cung của vua Thiệu Trị) vẫn còn sống, lại là người có uy quyền bậc nhất, bà Vĩnh vẫn không được tôn phong bất kỳ danh vị gì ngoài chức Tài nhân nhỏ bé cho đến khi qua đời. Trên danh nghĩa, thái hậu Từ Dụ mới là Đích tổ mẫu của cả 3 vị vua trên. Mãi đến thời vua Khải Định, ông mới quyết định truy phong cho Tằng tổ mẫu Tài nhân Trương thị làm Kỷ tần ở hàng Tam giai.